นอร์ตันใช้เวลาประมาณห้าปีในอารามพุทธในบริเวณอ่าวซานฟรานซิสโก ช่วงคริสต์ทศวรรษ 1970[21][22] ส่วนในปี ค.ศ. 1983 นอร์ตันได้แต่งงานกับไอลีน แฮร์ริส ที่เติบโตในวัตส์ รัฐแคลิฟอร์เนีย พวกเขามีลูกสองคน และอาศัยอยู่ในพื้นที่ลอสแอนเจลิส ครั้นในฤดูร้อนของปี ค.ศ. 1990 พวกเขาเพลิดเพลินต่อการไปเยือนมาร์ธาสวินยาร์ด และกลับมาอีกในปีถัดไปกับลูก ๆ ของพวกเขา โดยทำการจัดซื้อบ้านแบบควีนแอนน์ ค.ศ. 1891 ขนาดแปดห้องนอนในโอกบลัฟส์ พวกเขายังซื้อและอาศัยอยู่ในบ้านใกล้เคียงในขณะที่เริ่มต้นการออกแบบใหม่ของบ้านหลังใหญ่ "ลูกของผมเป็นคนผิวเข้ม และเราคิดว่าโอกบลัฟส์จะทำให้พวกเขามีโอกาสได้ไปเที่ยวรอบ ๆ ช่วงฤดูร้อน เด็กคนอื่น ๆ ก็ชอบพวกเขา" นอร์ตันกล่าวในการให้สัมภาษณ์กับลอรา ดี. โรสเวลต์ เมื่อปี ค.ศ. 2007 สำหรับมาร์ธาสวินยาร์ดแมกกาซีน[23] โดยพาดพิงถึงชื่อเสียงของโอกบลัฟส์ในฐานะสถานที่ฤดูร้อนยอดนิยมในหมู่คนผิวดำ[24]

ในปี ค.ศ. 2000 ทั้งคู่หย่าจากกัน ตั้งแต่นั้นมา นอร์ตันใช้เวลาอาศัยอยู่ในนิวยอร์กเป็นส่วนใหญ่ ทว่าในเดือนกุมภาพันธ์ ค.ศ. 2001 ไฟไหม้ที่เกิดจากการเดินสายไฟผิดพลาดทำให้บ้านที่มาร์ธาสวินยาร์ดซึ่งได้รับการบูรณะเมื่อปี ค.ศ. 1994 เสียหาย นอร์ตันได้สร้างมันขึ้นมาใหม่จนเกือบจะเท่ากับก่อนเกิดเพลิงไหม้ ในขณะเดียวกัน เขาเริ่มมีความสัมพันธ์กับเกว็น อดัมส์ ซึ่งเป็นนักการเงินจากนิวยอร์ก ผู้เป็น "ชาวเกาะ" โดยกำเนิดของเธอ และอาศัยอยู่ในพื้นที่ดังกล่าว ตั้งแต่นั้นเป็นต้นมา ทั้งคู่ใช้เวลาสิบสัปดาห์ในฤดูร้อนที่คอร์บิน-นอร์ตันเฮาส์ เป็นประจำทุกปี ซึ่งมักจะมีแขกหลายคน ครั้นในเดือนพฤษภาคม ค.ศ. 2007 พวกเขาก็แต่งงานกัน[25]ในโบสถ์ในบริเวณใกล้เคียงเอดการ์ทาวน์ พิธีได้ทำบนเกาะโดยเพื่อนบ้านของพวกเขา ซึ่งเป็นนักเขียนและนักวิชาการชื่อเฮนรี หลุยส์ เกตส์ จูเนียร์[ต้องการอ้างอิง]